Năm 1996, Whitaker kết hôn với nữ diễn viên Keisha Nash, người mà ông gặp trên bộ Blown Away. Họ có bốn người con: ba con gái Sonnet, True, Autumn và con trai, Ocean từ mối quan hệ trước đây của họ.

Vết mắt trái của Whitaker được nhiều nhà phê bình gọi là "hấp dẫn" và cho anh ta "một cái nhìn lười biếng, chiêm ngắm". Whitaker đã giải thích rằng tình trạng này là di truyền và ông đã xem xét có phẫu thuật để điều chỉnh nó, không vì lý do mỹ phẩm nhưng vì nó ảnh hưởng đến tầm nhìn của ông.